ICML2021 | 联邦学习系列之基于超网络的个性化联邦学习

点击上方蓝字获取更多新鲜资讯

《Personalized Federated Learning using Hypernetworks》文章解读

本文设计了一种 centralized personalized federated hypernetwork (pFedHN) 的结构，通过 pFedHN 可以为每个用户生成 unique and diverse local model，而且因为 pFedHN 不需要传输 hypernetwork 的参数，所以 Communication cost 不需要考虑 model size 的影响。

  :  指 HN 的模型参数;

  :  指 local model 的参数;

用户根据自身数据特征通过 embedding 层生成  作为超参数网络  的输入；

  得到每个用户的本地模型权重；

所有模型构成一个集合   用户共享参数  并维持自身个性化的程度；

优化目标：  

反向传播为:    , 因此通信过程中只需传输本地梯度  

更新  的方式通过  

每个用户计算本地 loss:  

 本地 Personal Classifier \mathcal{W}_i 的训练:   

Experiments

Federated Accuracy:   

总结：

HyperNetwork（pFedHN） & Local model 的结构是人为提前定义好的；

pFedHN 直接将每个用户 Node 的 id 作为 Embedding 的输入；

pFedHN 通过 Embedding 指导 Local model 的初始化；

Local model 根据初始化的模型训练 E epochs 得到模型  并计算  用于 pFedHN 的更新(相较于共享 pFedHN的梯度，传输 local model 模型大小的梯度更 Communication-Efficient )；

在链式求导步骤中使用  , 将全局部分求导  和局部模型求导  分离，从而减少通信量 (从全局模型  规模的通信变为局部模型  规模的通信)。

作者知乎号：lokinko，欢迎关注。

往期内容：

欢迎投稿

邮箱：[e-mail]

参与更多讨论，请添加小编微信加入交流群